Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search
可移植查询生成的奖励信号设计：工业语义职位搜索案例研究
🧭 生成式查询推荐 · 奖励工程
LinkedIn Corporation
在RL查询生成中，奖励塑造远比优化器选择关键，规则奖励底线可抑制GRPO的奖励黑客行为
📌 工作参考价值（4 点）
- 奖励塑造优先于算法选择：在电商搜索/广告文案生成等RL微调场景，即便用GRPO/PPO等先进算法，若奖励信号不鲁棒，模型仍会走捷径（如抄袭输入）。应把主要精力放在设计抗黑客的奖励函数上，算法选择相对次要。
- GRPO的组归一化脆弱性：GRPO由于使用组内相对优势，更容易被虚假奖励信号利用。若业务使用GRPO训练查询/文案生成，务必监控模型是否退化为逐字复制，可通过规则底线奖励（如检测抄袭时给予低分）来纠正。
- 推荐使用critic-free优化器：RLOO、REINFORCE++等无critic方法天然抵抗奖励黑客，在难以精确建模价值函数时更安全，可直接上线尝试。
- 评估时独立于训练奖励模型：训练阶段奖励模型会夸大性能（本案例中2.4倍），部署前必须用独立的、跨家族的裁判模型或人工评估来测量真实质量增益。